语义特征能否捕捉复合词的句法分类？

• 作者: Sandro Pezzelle, Marco Marelli
• 来源: The role of constituents in multiword expressions, 2020
• 标签: #计算语言学 #分布式语义 #复合词 #句法 #语义

核心论点

• 研究问题 (Question): 语言学中基于句法关系的复合词分类 (从属型、归属型、并列型)，能否通过其成分的语义特征来解释和预测？
• 核心假说 (Hypothesis): 可以。离散的句法类别与复合词及其成分的连续、量化的语义属性存在系统性关联。
• 方法 (Method):
  • 使用组合分布式语义模型 (cDSM) 为复合词生成向量表示。
  • 提取关键的定量语义特征 (如成分间相似度、成分对整体的贡献度)。
  • 运用 Logit 回归模型 预测复合词所属的句法类别。
• 核心结论 (Conclusion): 复合词的句法分类可以被其语义特征有效预测。这不仅验证了语言学分类的有效性，也证明了 cDSM 在描述复杂语言现象中的强大能力。离散的句法分类背后存在着连续的语义基础。

1. 理论背景与研究目标

• 复合词的分类体系 (Classification Systems):
  • 语言学 (基于句法) - Bisetto & Scalise (2005)
    • 从属型 (Subordinate): 成分间存在修饰与被修饰关系。
      • e.g., doghouse (狗的房子)
    • 归属型 (Attributive): 一个成分描述另一个成分的属性，常含隐喻。
      • e.g., swordfish (剑状的鱼)
    • 并列型 (Coordinate): 成分间为并列关系，由隐含的 "and" 连接。
      • e.g., comedy-drama (喜剧和戏剧)
  • 认知心理学 (基于语义) - Wisniewski (1996)
    • 关系连接 (Relation-linking) ↔️ 从属型 (Subordinate)
    • 属性映射 (Property-mapping) ↔️ 归属型 (Attributive)
    • 混合/合取 (Hybrid/Conjunctive) ↔️ 并列型 (Coordinate)
• 研究目标 (Aim of the Work):
  • 验证句法和语义两种分类体系的内在关联。
  • 用定量、连续的语义测量来解释定性、离散的句法类别。

2. 实验设计

• 模型 (Model):
  • 语义空间: 基于 word2vec (CBOW) 构建。
  • 组合模型 (cDSM): 采用基于回归的方法生成复合词向量，公式为：$$\overrightarrow{c}=M\overrightarrow{u}+H\overrightarrow{v}$$
    • 其中 $\overrightarrow{u}$ 是修饰语向量, $\overrightarrow{v}$ 是核心词向量, $M$ 和 $H$ 是学习到的权重矩阵。
• 数据 (Data): 132个已标注为从属型 (SUB)、归属型 (ATT)、并列型 (CRD) 的英语复合词。
• 关键预测变量 (Key Semantic Variables):
  • 成分间相似度 (MHsim): 修饰语 (Modifier) 与核心词 (Head) 的语义相似度。
  • 成分-整体相似度 (MCsim, HCsim): 修饰语或核心词的向量与整个复合词向量的相似度，衡量各自对整体意义的贡献。
• 分析方法 (Analysis):
  • 对三类复合词进行两两对比的 Logit 回归 分析 (ATT vs SUB, ATT vs CRD, CRD vs SUB)。

这个分析过程可以拆解为**“为什么这么做”和“具体怎么做”**两个层面。

1. 为什么要做“两两对比”？

标准的 Logit (逻辑) 回归是用来解决二分类问题的，也就是说，它的输出只有两个选项（是/否，A/B，0/1）。而研究中有三个类别：归属型(ATT)、从属型(SUB) 和 并列型(CRD)。

直接预测一个样本属于这三类中的哪一类，需要使用更复杂的多项 Logit 回归 (Multinomial Logit Regression)。但作者选择了更简单、更清晰的策略：将一个复杂的三选一问题，分解成三个独立的二选一问题。

这样做的好处是：

• 结果更清晰：每一次对比都只关注区分特定两类的关键特征。例如，在 ATT vs SUB 的对比中，模型会全力找出能最好地区分归属型和从属型的语义变量，而暂时忽略并列型(CRD)的特点。
• 解释性更强：可以为每个类别建立一个独特的“语义画像”。我们不仅知道一个类别是什么样的，还知道它与其它每个类别相比，差异在哪里。

2. Logit 回归的具体步骤

我们以 ATT vs SUB 这个对比为例，来详细说明整个流程：

第 1 步：筛选数据

• 研究人员从他们的 132 个复合词数据集中，只挑出所有被标记为 ATT 和 SUB 的词。
• 所有被标记为 CRD (并列型) 的词在这一步被暂时忽略。

第 2 步：设定因变量 (要预测的目标)

• 他们创建了一个二元的目标变量 (Dependent Variable)。在统计软件中，这通常被编码为 0 和 1。
• 例如，他们可以设定：
  • SUB (从属型) = 0
  • ATT (归属型) = 1
• 现在，模型的任务就变成了预测一个词的类别是 0 还是 1。

第 3 步：输入自变量 (用来预测的特征)

• 对于每一个被选中的词 (ATT 或 SUB)，研究人员都计算出了一系列量化的语义和非语义特征。这些就是自变量 (Independent Variables) 或预测变量 (Predictors)。
• 主要包括：
  • MCsim: 修饰语-整体相似度 (数值)
  • HCsim: 核心词-整体相似度 (数值)
  • MHsim: 修饰语-核心词相似度 (数值)
  • Density: 邻域密度 (数值)
  • Entropy: 熵 (数值)
  • 以及词频、长度、PMI 等控制变量。

第 4 步：运行 Logit 回归模型

• 模型会尝试找到一个最佳的数学公式，这个公式可以接收所有自变量（MCsim, HCsim 等），然后输出一个概率值（介于 0 和 1 之间）。
• 这个概率值代表“这个词的类别为 1 (即 ATT) 的可能性有多大”。
  • 如果模型输出的概率是 0.9，那么它就强烈预测这个词是 ATT。
  • 如果模型输出的概率是 0.1，那么它就强烈预测这个词是 SUB (因为是 ATT 的概率很低)。

第 5 步：解读模型结果

• 模型运行结束后，研究人员会重点关注两个信息：
  • 系数 (Coefficient / Estimate)：每个自变量（如 HCsim）都有一个系数。这个系数的正负号告诉我们它与目标变量的关系方向。
    • 在论文的 ATT vs SUB 模型中，HCsim 的系数是负数 (-5.59)。这意味着：HCsim 的值越高（核心词与整体越像），这个词的类别为 1 (ATT) 的概率就越低，也就是说它越有可能是 SUB。这完美地验证了他们的假设。
  • 显著性 (p-value)：p-值告诉我们这个自变量的影响是不是统计上可靠的，还是仅仅是偶然。
    • HCsim 的 p-值为 0.0355，小于常规的 0.05 阈值，说明它的影响是显著的。
    • 而像 Mod freq (修饰语词频) 等变量，因为 p-值很大，影响不显著，所以被模型简化步骤移除了。

---

总结来说，作者通过这个“两两决斗”的策略，为每个类别都绘制了一幅精准的语义画像：

1. ATT vs CRD: 发现 MHsim (成分相似度) 是关键。CRD 的 MHsim 远高于 ATT。
2. CRD vs SUB: 再次发现 MHsim 是关键，CRD 远高于 SUB。同时 HCsim (核心词贡献度) 也是关键，SUB 远高于 CRD。
3. ATT vs SUB: 发现 HCsim 和 MCsim (成分贡献度) 是关键，SUB 都比 ATT 高。

通过这三场对比，他们最终得出结论：并列型(CRD)由高成分相似度定义，从属型(SUB)由高核心词贡献度定义，而归属型(ATT)则是两者皆不具备的情况。

3. 核心结果：各类复合词的语义画像

• 并列型 (Coordinate / CRD) - e.g., comedy-drama
  • 决定性特征: 极高的成分间相似度 (MHsim)。
  • 解读: 当两个语义高度相似的概念组合时，倾向于形成并列关系。
• 从属型 (Subordinate / SUB) - e.g., bus-stop
  • 决定性特征: 极高的核心词-整体相似度 (HCsim)。
  • 解读: 复合词的意义主要由核心词决定 (a bus-stop is a type of stop)。其意义组合过程是“非破坏性的 (non-destructive)”，保留了原成分的核心语义。
• 归属型 (Attributive / ATT) - e.g., halfprice
  • 特征: 各项语义特征均不突出，缺乏明确的语义信号。
  • 解读:
    • 可视为一种“最后手段 (last-resort)”策略。
    • 当成分间相似度不足以构成并列型，且缺乏从属型的论元结构时形成。
    • 意义组合过程通常是“破坏性的 (destructive)”，会改变原成分的字面意义，产生引申义或隐喻义。

4. 结论与意义

• 语义决定句法: 复合词的句法分类并非任意，而是由其成分的内在语义属性系统地决定的。
• 离散与连续的统一: 语言学中基于规则的离散分类，与认知上基于相似度的连续表征是“一枚硬币的两面”。
• cDSM 的有效性: 证明了组合分布式模型是捕捉和量化复杂构词现象的强大、灵活的工具。